AI资讯新闻榜单内容搜索- LLM

关键词: LLM,大模型,模型训练,token

2023 年，大型语言模型（LLM）以其强大的生成、理解、推理等能力而持续受到高度关注。然而，训练和部署 LLM 非常昂贵，需要大量的计算资源和内存，因此研究人员开发了许多用于加速 LLM 预训练、微调和推理的方法。

关键词: MoE,LocMoE,Mixtral 8×7B,开源模型

2023 年 12 月，首个开源 MoE 大模型 Mixtral 8×7B 发布，在多种基准测试中，其表现近乎超越了 GPT-3.5 和 LLaMA 2 70B，而推理开销仅相当于 12B 左右的稠密模型。为进一步提升模型性能，稠密 LLM 常由于其参数规模急剧扩张而面临严峻的训练成本。

关键词: Meta,Prompt,Llama 2

随着大型语言模型（LLM）技术日渐成熟，提示工程（Prompt Engineering）变得越来越重要。一些研究机构发布了 LLM 提示工程指南，包括微软、OpenAI 等等。

关键词: LLM,智能体,大模型分级

IPA 已经成了现代智能手机不可或缺的标配，近期的一篇综述论文更是认为「个人 LLM 智能体会成为 AI 时代个人计算的主要软件范式」。

关键词: LLM,CMU Catalyst,AI

近日，CMU Catalyst 团队推出了一篇关于高效 LLM 推理的综述，覆盖了 300 余篇相关论文，从 MLSys 的研究视角介绍了算法创新和系统优化两个方面的相关进展。

关键词: LLM,AGI,AI

进入现今的大模型 (LLM) 时代，又有研究者发现了左右互搏的精妙用法！近日，加利福尼亚大学洛杉矶分校的顾全全团队提出了一种新方法 SPIN（Self-Play Fine-Tuning），可不使用额外微调数据，仅靠自我博弈就能大幅提升 LLM 的能力。

关键词: 多模态大模型,MobileVLM,移动端模型

近日，美团、浙大等推出了能够在移动端部署的多模态大模型，包含了 LLM 基座训练、SFT、VLM 全流程。也许不久的将来，每个人都能方便、快捷、低成本的拥有属于自己的大模型。

关键词: 大模型,上下文限制,AI,LLM

作者重点关注了基于 Transformer 的 LLM 模型体系结构在从预训练到推理的所有阶段中优化长上下文能力的进展。

关键词: RAG,LLM,prompt

RAG没有想象中那么容易。相信这也是你会看到这篇文章的原因。

关键词: EAGLE,大模型,大模型推理,LLM

大语言模型（LLM）被越来越多应用于各种领域。然而，它们的文本生成过程既昂贵又缓慢。这种低效率归因于自回归解码的运算规则：每个词（token）的生成都需要进行一次前向传播，需要访问数十亿至数千亿参数的 LLM。这导致传统自回归解码的速度较慢。